Huyện Xín Mần được thành lập theo Quyết định số 49-CP ngày 1 tháng 4 năm 1965 của Hội đồng Chính phủ trên cơ sở tách 17 xã: Bản Díu, Bản Máy, Bản Ngò, Chế Là, Chí Cà, Cốc Pài, Cốc Rế, Nấm Dẩn[note 1], Nàn Ma, Nàn Xỉn, Ngán Chiên, Pà Vầy Sủ, Tả Nhìu, Tân Nam, Thèn Phàng, Thu Tà, Xín Mần thuộc huyện Hoàng Su Phì.

Ngày 18 tháng 11 năm 1983, Hội đồng Bộ trưởng (nay là Chính phủ) đã ban hành quyết định số 136/HĐBT, tách xã Bản Máy của huyện Xín Mần để sáp nhập vào huyện Hoàng Su Phì, tách các xã Trung Thịnh, Nàng Đôn của huyện Hoàng Su Phì để sáp nhập vào huyện Xín Mần và tách các xã Nà Chì, Khuôn Lùng, Quảng Nguyên của huyện Bắc Quang để sáp nhập vào huyện Xín Mần.[5] Huyện Xín Mần có 21 xã: Bản Díu, Bản Ngò, Chế Là, Chí Cà, Cốc Pài, Cốc Rế, Khuôn Lùng, Nà Chì, Nậm Dẩn, Nàn Ma, Nàn Xỉn, Nàng Đôn, Ngán Chiên, Pà Vầy Sủ, Quảng Nguyên, Tả Nhìu, Tân Nam, Thèn Phàng, Thu Tà, Trung Thịnh, Xín Mần.

Ngày 29 tháng 8 năm 1994, xã Nàng Đôn lại trở về với huyện Hoàng Su Phì.

Cuối năm 2002, huyện Xín Mần có 20 xã: Bản Díu, Bản Ngò, Chế Là, Chí Cà, Cốc Pài, Cốc Rế, Khuôn Lùng, Nà Chì, Nậm Dẩn, Nàn Ma, Nàn Xỉn, Ngán Chiên, Pà Vầy Sủ, Quảng Nguyên, Tả Nhìu, Tân Nam, Thèn Phàng, Thu Tà, Trung Thịnh, Xín Mần.

Từ ngày 1 tháng 12 năm 2003, chuyển xã Tân Nam về huyện Quang Bình quản lý.

Ngày 31 tháng 3 năm 2009, chuyển xã Cốc Pài thành thị trấn Cốc Pài, thị trấn huyện lỵ huyện Xín Mần.

Ngày 17 tháng 12 năm 2019, sáp nhập xã Ngán Chiên vào xã Trung Thịnh.[6]

Huyện Xín Mần có 1 thị trấn và 17 xã như hiện nay.